草庐IT

parallel-processing - Redis队列架构

全部标签

go - Go中的二级缓存(内存+redis)实现

我正在尝试写一个二级缓存(内存+redis),但是当一个key高并发访问时遇到了瓶颈,我尝试对每个key都使用mutex,但是这样增加了cpu很多因为loadFromDB需要100-200毫秒。func(s*Store)GetJsonObjectWithExpire(keystring,objinterface{},ttlint,fStoreLoadFunc)error{//firstreadfrommemoryv,ok:=s.mem.Get(key)ifok{ifv.Outdated(){to:=deepcopy.Copy(obj)gos.updateMem(key,to,ttl,f

go - [CodeEval][GO] CodeEval 错误 : Process was aborted due to timeout

我正在尝试提交我的https://www.codeeval.com/open_challenges/158/解决方案这是一个冒泡排序。我用GOlang编写代码,在我的PC上它运行良好且快速!我尝试使用go的输入代码示例,我也尝试了自己的一段代码。谁能帮帮我?我尝试以某种方式更改代码,但没有任何效果。提前致谢。 最佳答案 您的代码中可能缺少某些极端情况。参见https://getsatisfaction.com/codeeval/topics/bubble-sort-iterations-are-too-high-causing-so

go - 使用 slice 在 Go 中实现一个简单的队列

我正在尝试使用slice在Go中实现一个非常简单的队列。这是我必须排队五个值然后丢弃前两个值的代码:packagemainimport("fmt")var(localQ[]int)funcmain(){fmt.Printf("%v%v\n",localQ,len(localQ))fori:=0;i关于dequeue函数的两个问题:1-我试图确保丢弃弹出的项目并收集垃圾。此函数是否导致它们被垃圾收集?2-r:=q[s:]的时间和空间复杂度是多少?我知道每个slice下面都有一个数组。是否正在复制数组值?或者它只是一个被复制的指针? 最佳答案

go - bufio.扫描仪 : how to know if we are processing a new line or a truncated string?

我基本上需要处理从流中读取的有限缓冲区中的每个字符串行。使用bufio.Scanner,我可以逐行扫描扫描仪,但不得不使用似乎过于复杂的解决方案来检测“截断”。有更好的方法吗?非常感谢。我对任何lib或任何东西都不紧张。func(p*Parser)Read(data[]byte,tmpline*string,nint,bufSizeint){varlinestringstrdata:=string(data)scanner:=bufio.NewScanner(strings.NewReader(strdata))line=""forscanner.Scan(){ifline!=""{i

go - 以编程方式为 os.Process 编写标准输入

更新:要以编程方式“驱动”bash,您需要一个伪终端(PTY)。这就是我要找的:https://github.com/kr/ptypackagemainimport("github.com/kr/pty""io""os""os/exec")funcmain(){c:=exec.Command("grep","--color=auto","bar")f,err:=pty.Start(c)iferr!=nil{panic(err)}gofunc(){f.Write([]byte("foo\n"))f.Write([]byte("bar\n"))f.Write([]byte("baz\n")

go - 架构Linux : golang can't use go build

我前几天安装了archlinux,想配置golang,但是遇到了一些问题,我从pacman安装了go:pacman-Sgo然后我在我的.bashrc中导出了一些环境变量exportPATH=$PATH:/usr/lib/goexportGOPATH=$HOME/goexportGOBIN=$GOPATH/bin但是当我使用“gobuild”进行构建时,我收到了错误消息:main.go:11:2:nobuildableGosourcefilesin/usr/lib/go/src/gogoenv包括:GOBIN="/home/thomas/go/bin"GOEXE=""GOPATH="/h

google-app-engine - GAE Golang 实现一些独特的请求队列?

我有一个GoogleAppEngineGo应用程序正在处理来自第三方服务器的实时通知。这些通知或多或少需要在现场记录和处理。然而,第三方服务器有一个坏习惯,即同时发送两个请求,有时彼此相隔1毫秒-速度太快甚至无法使数据存储/内存缓存写入指示信号量。我想知道是否有一种方法可以巧妙地处理这种并发请求?理想情况下,我希望将它们放在某个堆栈上,这样可以保证一次处理一个项目。在GAEGolang中可以实现这样的功能吗? 最佳答案 为具有较短超时时间的消息的唯一标识符添加内存缓存(实际上并不重要)。如果添加成功,处理消息。

process - 有没有办法可靠地列出 Go 中的子流程?

我的程序正在使用exec.Command来运行一个子进程(我无法控制),该子进程又会启动另一个子进程。问题是第二个子进程不是在第一个子进程下运行,而是在原始进程下运行,如果我需要的话,我无法明确地杀死它。我确实需要。那么,是否有一种与平台无关的方式来列出子进程,以便我可以明确地清理它? 最佳答案 与平台无关的方法是使用PIDfiles,或其他一些类似的机制。缺点是您必须让子流程应用程序(及其vendor)生成必要的信息。唯一的另一种可能性是开发您自己的多平台库,因为子流程语义和与流程相关的API因平台而异。现有的一些实用程序只是获取

google-app-engine - GAE (go) 推送队列率未强制执行

我正在尝试让推送队列中的某些任务以大约每秒一次的速度执行。下面是我如何定义我的queue.yamlqueue:-name:defaultrate:1/sbucket_size:1max_concurrent_requests:1我有一个处理程序(用于/tasks/readalerts),它将任务排入队列:t:=taskqueue.NewPOSTTask("/tasks/readalerts",map[string][]string{})if_,err:=taskqueue.Add(context,t,"");err!=nil{context.Errorf("%v",err)}一旦我访问

json - 在redis中将结构存储为字符串

由于Redis仅存储字符串,我想知道如何使用Go将Struct转换为字符串,从而实现与Javascript的JSON.stringify等效的功能。我尝试过类型转换:string(the_struct)但这会导致错误。 最佳答案 encoding/json包可用于轻松地将struct转换为JSON字符串,反之亦然(将JSON字符串解析为struct)。简单示例(在GoPlayground上尝试):typePersonstruct{NamestringAgeint}funcmain(){p:=Person{"Bob",23}//Str